Ledger sinh ra tại Perth, Tây Australia, con trai của Sally Ledger Bell (née Ramshaw),[3] một giáo viên người Pháp và Kim Ledger, một tay lái xe đua và một kỹ sư khai khoáng.[4] Mẹ của Ledger xuất thân từ dòng họ Campbell của Scotland còn cha anh xuất thân từ một gia đình nổi tiếng ở Perth vì họ là chủ của Ledger Engineering Foundry.[5] Heath (Heathcliff) và em gái của anh Katherine được đặt tên theo tên hai nhân vật chính trong Wuthering Heights của Emily Bronte. Quỹ từ thiện Sir Frank Ledger đã được đặt tên theo cố của anh.[6] Ledger học tiểu học tại Trường tiểu học Marys Mount ở Gooseberry Hill, và sau đó là Trường trung học Guildford và trường dự bị cùng tên.